Efficient Clustering with Provable Guardrails for LLM Inference at Scale
大规模LLM推理的可证明安全高效聚类
🧭 高效聚类 · LLM推理加速 ★ 深度解读
Amazon
两阶段聚类通过贪心集合覆盖确保每用户与代表相似度达标，实现50倍LLM推理成本缩减
📌 工作参考价值（4 点）
- 当需要对海量用户接入LLM时，先用Mini-batch K-Means粗分，再在各簇内贪心选取代表，强制相似度≥α且属性完全匹配。该策略复杂度$O(n^2 d/K)$，调大初始簇数$K$可线性加速并降内存，适合千万级用户场景。
- 贪心选择的簇大小高度偏斜，可主动丢弃长尾小簇（例如仅保留4%的簇覆盖90%用户），进一步压缩下游推理量，配合上游过采样补偿掉落的用户。
- 对合规属性（如年龄、性别）直接在匹配矩阵中要求相等，提供可证明保证，杜绝跨属性推荐风险，适合电商推荐中安全滤波环节。
- 生产验证表明用户-代表embedding相似度与推荐相关性高（Pearson r=0.781），可直接用相似度阈值替代代价高昂的LLM评估，节省质量评估成本。